func dfs(url string) {
	if visited[url]     return  //visted
	visited[url] = true 

	resp:= http.Get(url)

	for _, link := range links {
		// 相对 -> 绝对
		if !strings.HasPrefix(link, "http") 
			link = url + link
		
		go dfs(link)
	}
}

1: you are a good boy ha ha o yeah
2: o my god you like bleach naruto one piece and so do i
3: but i do not think you will get all the points

you     :   [1,2,3]
i       :   [2,3]
all     :   [3]

struct {
    int cnt = 0;
    int child[26] = {0};
}trie_node[10010];

void find(char str[]){
    int ptr = 0; 
    for(int i = 0 ; str[i] ; i++){
        if child not exist 
            ptr = node[ptr].lchild;
    }
    return cnt;  
}

void insert(char str[]){
    int ptr = 0;

    for(int i = 0 ; str[i] ; i++){
        int num = str[i] - 'a'; //映射
        if( !trie_node[ptr].child[num] ){   
            trie_node[ptr].child[num] = ++idx;
        }
        ptr = trie_node[ptr].child[num];  // ptr = node[ptr].lchild;
    }
    trie_node[ptr].cnt++;   //标记 

}

for i < len_arr && j < len_brr {
    if arr[i] == brr[j] {
        ans = append(ans, arr[i])
        i += 1
        j += 1
    } else if arr[i] < brr[j] {
        i += 1
    } else if arr[i] > brr[j] {
        j += 1
    }
}

func merge_index(str []string, l int, r int) []int {
    if l == r  str[l]
	
    mid = (l + r) / 2
	
    go  merge_index(str, l, mid)
    go  merge_index(str, mid+1, r)

    return merge(l_list, r_list)

}

搜索引擎实现¶

使用 Golang + Redis¶

爬虫¶

并发的dfs ，发送Get请求获取html内容¶

❗❗ 网站之间的链接不是有向无环图¶

❗❗ 相对链接的处理¶

减少心智负担的选择¶

各种并发锁(性能)¶

难以解析(设计复杂的正则表达式)👎👎¶

倒排索引的实现¶

索引的数据结构¶

👉 Map

2. trie 树¶

合并索引¶

$ 返回\quad A \cap B \cap C \cap \ldots$¶

分治¶

⚠️ 并发¶

Redis¶

Golang¶

搜索引擎实现¶

使用 Golang + Redis¶

爬虫¶

并发的dfs ，发送Get请求 获取html内容¶

❗❗ 网站之间的链接不是 有向无环图¶

❗❗ 相对链接的处理¶

减少心智负担的选择¶

http库复杂header,cookie的设置¶

各种并发锁(性能)¶

难以解析(设计复杂的正则表达式)👎👎¶

倒排索引的实现¶

索引的数据结构¶

👉 Map

2. trie 树¶

合并索引¶

$ 返回\quad A \cap B \cap C \cap \ldots$¶

分治¶

⚠️ 并发¶

Redis¶

Golang¶

并发的dfs ，发送Get请求获取html内容¶

❗❗ 网站之间的链接不是有向无环图¶